本发明公开了一种视频中的人体运动编辑方法,支持用户对视频中人体运动进行编辑以得到包含新的人体运动的视频,具体包括人体姿态分析、姿态数据编辑、图像形变三个步骤:首先采用基于免疫进化的层次化姿态分析方法,通过全局姿态优化、姿态序列平滑、局部姿态优化计算得到输入视频中的人体运动的姿态数据;其次采用草绘交互方式编辑上述计算得到的人体运动的姿态数据,生成新的人体运动的姿态数据;最后,采用模型驱动的移动最小二乘图像形变方法对输入视频的每一帧图像进行形变,生成包含新的人体运动的视频。本发明能实现对视频中人体运动的编辑得到包含新的人体运动的视频,在电影后期制作、广告设计等领域有重要应用。
1.一种视频中的人体运动编辑方法,其特征在于,包括以下步骤:xa0步骤一,人体姿态分析:采用基于免疫进化的层次化姿态优化方法,计算输入视频中每一帧图像的人体姿态,得到人体运动的姿态数据;xa0步骤二,姿态数据编辑:采用草绘交互方式编辑步骤一得到的人体运动的姿态数据,生成新的人体运动的姿态数据;xa0步骤三,图像形变:以步骤二中新的人体运动的姿态数据作为控制条件,采用模型驱动的移动最小二乘图像形变方法对输入视频中每一帧图像进行形变,生成包含新的人体运动的视频;xa0步骤一包括以下步骤:xa0步骤21,全局姿态优化:对输入视频的每一帧图像z_t,采用免疫进化姿态优化方法计算得到一个包含N个候选姿态的候选姿态集合ntent="drawing" img-format="jpg" inline="no" orientation="portrait" wi="180"/>其中,ntent="drawing" img-format="jpg" inline="no" orientation="portrait" wi="56"/>为一个候选姿态,i为候选姿态的序号,i=1,...,N,N为候选姿态的总个数,t=1,...,T,T为输入视频的总帧数;xa0步骤22,姿态序列平滑:从候选姿态集合ntent="drawing" img-format="jpg" inline="no" orientation="portrait" wi="138"/>中选择一个候选姿态作为图像z_t的预估姿态ntent="drawing" img-format="jpg" inline="no" orientation="portrait" wi="139"/>其中,h(t)表示预估姿态ntent="drawing" img-format="jpg" inline="no" orientation="portrait" wi="94"/>在候选姿态集合ntent="drawing" img-format="jpg" inline="no" orientation="portrait" wi="126"/>中的序号,h(t)∈[1,N];xa0步骤23,局部姿态优化:利用预估姿态ntent="drawing" img-format="jpg" inline="no" orientation="portrait" wi="106"/>重定位图像z_t中的人体轮廓;采用免疫进化姿态优化方法计算人体的局部姿态,得到图像z_t的人体运动的姿态数据y_t;xa0步骤21包括以下步骤:xa0步骤31,初始化:在疫苗V定义的约束范围内随机产生M个姿态个体ntent="drawing" img-format="jpg" inline="no" orientation="portrait" wi="239"/>记为种群A₀;其中,ntent="drawing" img-format="jpg" inline="no" orientation="portrait" wi="494"/>为一个姿态个体,m为姿态个体的序号,M为种群中姿态个体的总数目,0表示了种群的代数,y_j为姿态个体的每一维,j=1,...,J,J为姿态个体的维度;所述疫苗V定义了姿态个体ntent="drawing" img-format="jpg" inline="no" orientation="portrait" wi="518"/>的每一维的取值范围,即min(y_j)<y_j<max(y_j),min(y_j)和max(y_j)分别为y_j取值的最小值和最xa0大值;xa0步骤32,迭代优化种群A₀,包括以下步骤:xa0步骤321,计算第k代种群A_k中每个姿态个体的适应度,如果当前种群A_k中包含最佳姿态个体,则停止运行并输出结果,否则继续;所述姿态个体的适应度指的是姿态个体对应的姿态模型与图像特征的距离,表示为ntent="drawing" img-format="jpg" inline="no" orientation="portrait" wi="280"/>计算方法是xa0ntent="drawing" img-format="jpg" inline="no" orientation="portrait" wi="700"/>其中,ntent="drawing" img-format="jpg" inline="no" orientation="portrait" wi="108"/>为第k代种群A_k中的一个姿态个体,ntent="drawing" img-format="jpg" inline="no" orientation="portrait" wi="270"/>为基于轮廓的距离计算式,ntent="drawing" img-format="jpg" inline="no" orientation="portrait" wi="273"/>为基于边缘的距离计算式;所述最佳姿态个体指的是适应度ntent="drawing" img-format="jpg" inline="no" orientation="portrait" wi="254"/>小于阈值e的姿态个体,阈值e取值范围0.001~0.002;xa0步骤322,遗传算子:对第k代种群A_k中的每个姿态个体进行交叉变异操作,得到中间种群B_k;其中ntent="drawing" img-format="jpg" inline="no" orientation="portrait" wi="410"/>(y_t′)^m,k为交叉变异操作得到的姿态个体;xa0步骤323,接种疫苗:对于中间种群B_k中的每个姿态个体都接种疫苗V,得到抗体种群C_k;其中ntent="drawing" img-format="jpg" inline="no" orientation="portrait" wi="414"/>(y_t′′)^m,k为接种疫苗V得到的姿态个体;xa0所述接种疫苗V是指对于姿态个体(y_t′)^m,k,(y_t′)^m,k∈B_k,如果ntent="drawing" img-format="jpg" inline="no" orientation="portrait" wi="383"/>则ntent="drawing" img-format="jpg" inline="no" orientation="portrait" wi="400"/>如果ntent="drawing" img-format="jpg" inline="no" orientation="portrait" wi="406"/>则ntent="drawing" img-format="jpg" inline="no" orientation="portrait" wi="409"/>步骤324,免疫选择:对抗体种群C_k进行免疫检测和退火选择,得到临时种群D_k;所述免疫检测是指对抗体种群C_k中的每一个姿态个体(y_t′′)^m,k,如果姿态个体(y_t′′)^m,k的适应度提高,即E((y_t′′)^m,k,z_t)-E((y_t′)^m,k,z_t)>0,则将个体(y_t′′)^m,k加入临时种群D_k;所述退火选择是指对抗体种群C_k中的每一个姿态个体(y_t′′)^m,k,如果姿态个体(y_t′′)^m,k的适应度降低,即E((y_t′′)^m,k,z_t)-E((y_t′)^m,k,z_t)<0,则以概率P((y_t′′)^m,k)将姿态个体(y_t′′)^m,k加入临时种群D_k,概率ntent="drawing" img-format="jpg" inline="no" orientation="portrait" wi="700"/>其xa0中,E((y_t′′)^m,k,z_t)为步骤321中的适应度函数,T_k为温控序列,T_k=ln(T₀k+1),T₀为初始温度,k为种群的代数;xa0步骤325,构造新种群:采用如下步骤构造新一代父本种群A_k+1:统计临时种群D_k中姿态个体的数目M′;对种群A_k和临时种群D_k中总数为M+M′的姿态个体,删除M+M′个姿态个体中相同的姿态个体;计算剩余姿态个体的适应度,选择适应度最高的前M个姿态个体构成新一代父本种群A_k+1;xa0步骤326,当迭代次数k小于阈值C时,k=k+1,返回步骤321;否则执行步骤33,阈值C取值范围80~120;xa0步骤33,输出:计算第k代种群A_k中的姿态个体的适应度,选择适应度最高的前N个姿态个体构成候选姿态集合ntent="drawing" img-format="jpg" inline="no" orientation="portrait" wi="178"/>
2.根据权利要求1所述的一种视频中的人体运动编辑方法,其特征在于,步骤22包括以下步骤:xa0步骤41,从候选姿态集合ntent="drawing" img-format="jpg" inline="no" orientation="portrait" wi="146"/>中选择一个候选姿态作为图像z_t的预估姿态;为输入视频构造一个预估姿态序列H=h(1)h(2)...h(T),其中,h(t)∈[1,N]表示图像z_t的预估姿态的序号;xa0步骤42,计算图像特征约束f_h(t):计算图像z_t的候选姿态集合ntent="drawing" img-format="jpg" inline="no" orientation="portrait" wi="134"/>中每个候选姿态ntent="drawing" img-format="jpg" inline="no" orientation="portrait" wi="52"/>的适应度ntent="drawing" img-format="jpg" inline="no" orientation="portrait" wi="236"/>则图像特征约束的计算方法为:xa0ntent="drawing" img-format="jpg" inline="no" orientation="portrait" wi="700"/>步骤43,计算时空约束O_h(t)h(t+1):计算图像z_t的预估姿态ntent="drawing" img-format="jpg" inline="no" orientation="portrait" wi="96"/>和图像z_t+1的预估姿态ntent="drawing" img-format="jpg" inline="no" orientation="portrait" wi="127"/>之间的时空约束ntent="drawing" img-format="jpg" inline="no" orientation="portrait" wi="700"/>其中,σ为核参数,取值范围1~10;ntent="drawing" img-format="jpg" inline="no" orientation="portrait" wi="371"/>为姿态ntent="drawing" img-format="jpg" inline="no" orientation="portrait" wi="96"/>和姿态ntent="drawing" img-format="jpg" inline="no" orientation="portrait" wi="124"/>之间的距离,计算方法为:ntent="drawing" img-format="jpg" inline="no" orientation="portrait" wi="700"/>其中y_jxa0为姿态的每一维,j=1,...,J,w_j为每一维的权重;xa0步骤44,建立评价函数:基于图像特征约束f_h(t)和时空约束O_h(t)h(t+1),建立预估姿态序列H=h(1)h(2)...h(T)的评价函数ntent="drawing" img-format="jpg" inline="no" orientation="portrait" wi="700"/>其中α为权重控制参数,α取值范围0.5~2;xa0步骤45,姿态序列求解:求解姿态序列H,计算得到每一帧图像z_t的预估姿态ntent="drawing" img-format="jpg" inline="no" orientation="portrait" wi="123"/>
3.根据权利要求2所述的一种视频中的人体运动编辑方法,其特征在于,步骤23包括以下步骤:xa0步骤51,轮廓重定位:利用预估姿态ntent="drawing" img-format="jpg" inline="no" orientation="portrait" wi="92"/>生成对应的姿态模型,并将姿态模型投影到对应的图像z_t的图像平面;对姿态模型的投影区域进行图像的腐蚀和膨胀操作,将腐蚀操作得到的区域标记为前景,将膨胀操作得到的区域以外部分标记为背景;根据标记的前景和背景,计算图像z_t中的人体轮廓s_t′;xa0步骤52,种群初始化:利用图像z_t的预估姿态ntent="drawing" img-format="jpg" inline="no" orientation="portrait" wi="132"/>采用高斯预测方法得到M个符合正态分布的姿态个体ntent="drawing" img-format="jpg" inline="no" orientation="portrait" wi="243"/>并用ntent="drawing" img-format="jpg" inline="no" orientation="portrait" wi="212"/>初始化种群;xa0步骤53,局部姿态优化:利用步骤51得到的人体轮廓s_t′计算姿态个体的适应度,采用免疫进化姿态优化方法计算得到新的候选姿态集合;xa0步骤54,姿态生成:从新的候选姿态集合中选择适应度最高的姿态个体y_t作为图像z_t的人体运动的姿态数据。xa0
4.根据权利要求3所述的一种视频中的人体运动编辑方法,其特征在于,步骤二包括:对步骤一姿态分析得到的人体运动的姿态数据y_t,采用草绘交互方式选定其中L个关键姿态y_l,l=1,...,L,L<T;对每个关键姿态y_l,采用草绘交互方式指定人体关键部位的末端关节点新位置;求解得到新的人体姿态数据y_l′;以y_l′为关键帧采用四元数插值方法对步骤一姿态分析得到的人体运动的姿态数据y_t进行插值,生成新的人体xa0运动的姿态数据y_t′。xa0
5.根据权利要求4所述的一种视频中的人体运动编辑方法,其特征在于,步骤三包括以下步骤:xa0步骤71,将步骤一姿态分析得到的人体运动的姿态数据y_t以骨架方式绘制到图像z_t的图像平面,得到图像中的线段集b_t,r;将步骤二姿态编辑得到的人体运动的姿态数据y_t′以骨架方式绘制到图像z_t的图像平面,得到图像中的线段集b_t′_,r;其中,r=1,...,R,R为人体骨架段数目;xa0步骤72,将线段集b_t,r作为控制线段的初始位置,将线段集b_t′_,r作为控制线段的目标位置,利用基于线段形变的移动最小二乘图像形变方法,对图像z_t进行形变,得到形变后的视频帧图像z_t′;xa0步骤73,计算形变后的视频帧图像z_t′中的人体轮廓s_t′′;利用编辑得到的人体运动的姿态数据y_t′生成对应的姿态模型,将姿态模型投影到形变后的视频帧图像z_t′的图像平面上;计算得到姿态模型投影的外轮廓u_t;xa0步骤74,对人体轮廓s_t′′等距采样得到采样点集ntent="drawing" img-format="jpg" inline="no" orientation="portrait" wi="131"/>对模型投影的外轮廓u_t等距采样得到采样点集ntent="drawing" img-format="jpg" inline="no" orientation="portrait" wi="116"/>其中,q=1,...,Q,Q为采样点的数目;xa0步骤75,将采样点集ntent="drawing" img-format="jpg" inline="no" orientation="portrait" wi="86"/>作为控制点的初始位置,将采样点集ntent="drawing" img-format="jpg" inline="no" orientation="portrait" wi="86"/>作为控制点的目标位置,利用基于控制点形变的移动最小二乘图像形变方法,对视频帧图像z_t′进行形变,得到包含新的人体运动的视频的每一帧图像z_t′′。xa0技术领域
本发明涉及一种视频中的人体运动编辑方法,属于计算机图像视频处理研究领域,具体地说是一种支持用户对视频中的人体运动进行编辑的方法。
背景技术
图像编辑技术在实际生活中已有广泛应用,如采用Photoshop等编辑工具对图像能实现诸如色调调整、结构调整、图像修复、图像去噪、图像变形等多种编辑操作。但目前已有的针对视频的编辑工具如Adobe的Effects和Apple的Shake等仅能实现抠图和前景提取等基本操作。要实现对视频内容的编辑,如视频中的人物外观和运动的编辑等仍然是项极具挑战的任务。然而,视频编辑在广告设计、电影后期制作等领域有重要应用,潜在应用价值使得视频编辑成为计算机图像视频处理研究领域的重要课题之一。目前,视频编辑的已有研究主要集中在基本运动编辑、运动特效处理、特定对象编辑等三个方面。如文献1:SCHOLZ,V.,EL-ABED,S.,SEIDEL,H.-P.,ANDxa0MAGNOR,M.A.Editingxa0objectxa0behaviorxa0inxa0videoxa0sequences.CGF,2009.28(6):1632–1643实现了一些基本的视频编辑方法,如移除和添加物体、物体的运动编辑、非刚性物体形变、关键帧插值以及摄像机运动的处理等,然后该类操作只能实现视频的基本编辑,无法满足诸如编辑人体的外观和姿态的要求;文献2:WANG,J.,DRUCKER,S.M.,AGRAWALA,M.,ANDxa0COHEN,M.F.Thexa0cartoonxa0animationxa0filter.ACMxa0TOG,2006,25(3):1169–1173.提出了一种动画滤波方法,该方法能使动画中的人体运动变得更夸张和动感,但该方法仅是通过形变方法改变图像中人体的外观,难以实现对姿态的精确控制;文献3:LEYVAND,T.,COHEN-OR,D.,DROR,G.,ANDxa0LISCHINSKI,D.Data-drivenxa0enhancementxa0ofxa0facialxa0attractiveness.ACMxa0TOG,2008,27(3):1–9从人脸图像训练集中学习出一个二维形变函数,能对输入图像中的人脸进行形变以增加表情的吸引力,但该方法仅能处理人脸图像,无法拓展到诸如人体编辑中。另外,近年来还出现了对图像和视频中人体外观编辑的研究,如文献4:ZHOU,S.,FU,H.,LIU,L.,COHEN-OR,D.,ANDxa0HAN,X.Parametricxa0reshapingxa0ofxa0humanxa0bodiesxa0inxa0images.ACMTOG,2010,29(4):1-10引入参数化三维人体模型,通过调整人体的外观属性实现了对人体外观的直接编辑;文献5:ARJUNxa0Jain,Thorstenxa0Thorm ̈ahlen,Hans-Peterxa0Seidelxa0andxa0Christianxa0Theobalt.MovieReshape:Trackingxa0andxa0Reshapingxa0ofxa0Humansxa0inxa0Videos.ACMTOG,2010,29(5)将文献4的工作扩展到视频,实现了对视频中人体外观的编辑,但该方法不能编辑人体的姿态。概括起来,当前视频编辑方法研究主要集中在基本运动编辑、运动特效处理、特定对象编辑等,针对人体的编辑也仅限于人体外观的编辑,针对视频中人体姿态以及运动的编辑的研究尚未可见。这主要是因为视频人体运动编辑是项极具挑战的任务,包括以下原因:首先,保持视频帧间的人体骨架和外观的一致性是视频人体运动编辑的首要难题;其次,如何提供有效的用户接口是研究面临的重要难题。然而,视频人体运动编辑在广告设计和电影制作领域有着重要应用,人体姿态和运动编辑技术能够支持艺术家采用更加自由的艺术方式通过电影编辑去描述故事情节。重要的学术价值和应用前景使得视频人体姿态编辑成为本发明的研究内容。
发明内容
发明目的:本发明所要解决的技术问题是针对现有技术的不足,提出了一种视频中的人体运动编辑方法。技术方案:本发明公开了一种视频中的人体运动编辑方法,包括以下步骤:步骤一,人体姿态分析:采用基于免疫进化的层次化姿态优化方法,计算输入视频中每一帧图像的人体姿态,得到人体运动的姿态数据;步骤二,姿态数据编辑:采用草绘交互方式编辑步骤一得到的人体运动的姿态数据,生成新的人体运动的姿态数据;步骤三,图像形变:以步骤二中新的人体运动的姿态数据作为控制条件,采用模型驱动的移动最小二乘图像形变方法对输入视频中每一帧图像进行形变,生成包含新的人体运动的视频。步骤一中所述基于免疫进化的层次化姿态分析方法,属于生成式姿态分析方法,其显式定义一个人体模型,通过优化人体模型的投影和图像特征间的适应度实现人体姿态估计。分层优化思想是通过全局姿态优化、姿态序列平滑、局部姿态优化计算得到输入视频中的人体运动的姿态数据。由于利用了运动的时序信息和对姿态的局部优化,有效提高了姿态分析的准确性。包括以下步骤:步骤21,全局姿态优化:对输入视频的每一帧图像z_t,采用免疫进化姿态优化方法计算得到一个包含N个候选姿态的候选姿态集合ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="178"/>其中,ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="54"/>为一个候选姿态,i为候选姿态的序号,i=1,...,N,N为候选姿态的总个数,t=1,...,T,T为输入视频的总帧数;步骤22,姿态序列平滑:采用基于动态规划的姿态序列平滑方法,从候选姿态集合ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="146"/>中选择一个候选姿态作为图像z_t的预估姿态ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="131"/>其中,h(t)表示预估姿态ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="97"/>在候选姿态集合ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="128"/>中的序号,h(t)∈[1,N];步骤23,局部姿态优化:利用预估姿态ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="86"/>重定位图像z_t中的人体轮廓;采用免疫进化姿态优化方法计算人体的局部姿态,得到图像z_t的人体运动的姿态数据y_t。步骤21中所述免疫进化姿态优化方法,是一种集合了进化机制和免疫机制的优化方法,通过引入姿态疫苗和免疫算子,提高了姿态优化的收敛性和局部优化能力,具体包括以下步骤:步骤31,初始化:在疫苗V定义的约束范围内随机产生M个姿态个体ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="205"/>记为种群A₀;其中,ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="463"/>为一个姿态个体,m为姿态个体的序号,M为种群中姿态个体的总数目即种群的规模,0表示了种群的代数,y_j为姿态个体的每一维,j=1,...,J,J为姿态个体的维度;所述疫苗V定义了姿态个体ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="463"/>的每一维的取值范围,即min(y_j)<y_j<max(y_j),min(y_j)和max(y_j)分别为y_j取值的最小值和最大值;步骤32,迭代优化种群A₀,包括以下步骤:步骤321,计算第k代种群A_k中每个姿态个体的适应度,如果当前种群A_k中包含最佳姿态个体,则停止运行并输出结果,否则继续;所述姿态个体的适应度指的是姿态个体对应的姿态模型与图像特征的距离,采用轮廓和边缘特征计算姿态个体的适应度ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="241"/>计算方法是 E ( y t m , k , z t ) = exp ( - Σ ( w s ( y t m , k , z t ) + w e ( y t m , k , z t ) ) ) , ]]>其中,ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="84"/>为第k代种群A_k中的一个姿态个体,ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="239"/>为基于轮廓的距离计算式,ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="236"/>为基于边缘的距离计算式;所述最佳姿态个体指的是适应度ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="224"/>小于阈值e的姿态个体,阈值e取值范围0.001~0.002;步骤322,遗传算子:采用遗传算子中的高斯交叉变异算子对第k代种群A_k中的每个姿态个体进行交叉变异操作,得到中间种群B_k;其中ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="347"/>(y_t′)^m,k为交叉变异操作得到的姿态个体;步骤323,接种疫苗:对于中间种群B_k中的每个姿态个体都接种疫苗V,得到抗体种群C_k;其中ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="344"/>(y_t′′)^m,k为接种疫苗得V到的姿态个体;所述接种疫苗V是指对于姿态个体(y_t′)^m,k,(y_t′)^m,k∈B_k,如果ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="381"/>则ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="374"/>如果 ( y t " ) j m , k > max ( y j ) , ]]>则 ( y t " ) j m , k = max ( y j ) ; ]]>步骤324,免疫选择:对抗体种群C_k进行免疫检测和退火选择,得到临时种群D_k;所述免疫检测是指对抗体种群C_k中的每一个姿态个体(y_t′′)^m,k,如果姿态个体(y_t′′)^m,k的适应度提高,即E((y_t′′)^m,k,z_t)-E((y_t′)^m,k,z_t)>0,则将个体(y_t′′)^m,k加入临时种群D_k;所述退火选择是指对抗体种群C_k中的每一个姿态个体(y_t′′)^m,k,如果姿态个体(y_t′′)^m,k的适应度降低,即E((y_t′′)^m,k,z_t)-E((y_t′)^m,k,z_t)<0,则以概率P((y_t′′)^m,k)将姿态个体(y_t′′)^m,k加入临时种群D_k,概率 P ( ( y t " " ) m , k ) = e E ( ( y t " " ) m , k , z t ) T k / Σ i = 1 M e E ( ( y t " " ) m , k , z t ) T k ; ]]>其中,E((y_t′′)^m,k,z_t)为步骤321中的适应度函数,T_k为温控序列,T_k=ln(_T0k+1),T₀为初始温度,k为种群的代数;步骤325,构造新种群:采用如下步骤构造新一代父本种群A_k+1:统计临时种群D_k中姿态个体的数目M′;对种群A_k和临时种群D_k中总数为M+M′的姿态个体,删除M+M′个姿态个体中相同的姿态个体;计算剩余姿态个体的适应度,选择适应度最高的前M个姿态个体构成新一代父本种群A_k+1;步骤326,当迭代次数k小于阈值C时,k=k+1,返回步骤321;否则执行步骤33,阈值C取值范围80~120;步骤33,输出:计算第k代种群A_k中的姿态个体的适应度,选择适应度最高的前N个姿态个体构成候选姿态集合ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="180"/>步骤22中所述姿态序列平滑,通过引入运动的时序信息约束姿态估计,能提高姿态分析的准确性,具体包括以下步骤:步骤41,从候选姿态集合ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="149"/>中选择一个候选姿态ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="116"/>作为图像z_t的预估姿态;为输入视频构造一个预估姿态序列H=h(1)h(2)...h(T),其中,h(t)∈[1,N]表示图像z_t的预估姿态的序号;步骤42,计算图像特征约束f_h(t):计算图像z_t的候选姿态集合ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="134"/>中每个候选姿态ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="55"/>的适应度ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="242"/>则图像特征约束的计算方法为: f h ( t ) = E ( y t h ( t ) , z t ) / Σ i = 1 N E ( y t i , z t ) ; ]]>步骤43,计算时空约束O_h(t)h(t+1):计算图像z_t的预估姿态ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="94"/>和图像z_t+1的预估姿态ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="120"/>之间的时空约束 O h ( t ) h ( t + 1 ) = exp ( - Dis ( y t h ( t ) , y t + 1 h ( t + 1 ) ) / σ 2 ) ; ]]>其中,σ为核参数,ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="347"/>为姿态ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="99"/>和姿态ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="132"/>之间的距离,计算方法为: Dis ( y t h ( t ) , y t + 1 h ( t + 1 ) ) = Σ j = 0 J w j | | log ( ( y j ) t h ( t ) ) - 1 ( y j ) t + 1 h ( t + 1 ) | | 2 , ]]>其中y_j为姿态的每一维,j=1,...,J,w_j为每一维的权重。步骤44,建立评价函数:基于图像特征约束f_h(t)和时空约束O_h(t)h(t+1),建立预估姿态序列H=h(1)h(2)...h(T)的评价函数ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="700"/>其中α为权重控制参数,α取值与输入视频中的人体姿态变化速度成反比,取值范围为0.5~2。步骤45,姿态序列求解:采用动态规划方法求解姿态序列H,计算得到每一帧图像z_t的预估姿态ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="118"/>步骤23中所述局部姿态优化,首先利用预估姿态重定位图像中的人体轮廓,继而采用免疫进化姿态优化方法优化人体局部姿态,提高姿态分析的精度,包括以下步骤:步骤51,轮廓重定位:利用预估姿态ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="96"/>生成对应的姿态模型,并将姿态模型投影到对应的图像z_t的图像平面;对姿态模型的投影区域进行图像的腐蚀和膨胀操作,将腐蚀操作得到的区域标记为前景,将膨胀操作得到的区域以外部分标记为背景;根据标记的前景和背景,利用图割方法计算得到图像z_t中的人体轮廓s_t′;步骤52,种群初始化:利用图像z_t的预估姿态ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="116"/>采用高斯预测方法得到M个符合正态分布的姿态个体ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="197"/>并用ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="164"/>初始化种群A₀;步骤53,局部姿态优化:利用步骤51得到的人体轮廓s_t′计算姿态个体的适应度,采用免疫进化姿态优化方法计算得到候选姿态集合ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="155"/>步骤54,姿态生成:从候选姿态集合ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="126"/>中选择适应度最高的姿态个体y_t作为图像z_t的人体运动的姿态数据。步骤二中所述姿态数据编辑,指的采用草绘交互方式编辑步骤一得到的人体运动的姿态数据,生成新的人体运动的姿态数据,新的人体运动的姿态数据将作为步骤三中图像形变的约束条件。草绘交互方式符合用户的交互习惯,具有良好的可用性。具体包括以下步骤:对于步骤一姿态分析得到的人体运动的姿态数据y_t,采用草绘交互方式选定其中K个关键姿态y_k,k=1,...,K,K<T;对每个关键姿态y_k,采用草绘交互方式指定人体关键部位的末端关节点新位置;采用多重优先级逆运动学方法求解得到新的人体姿态数据y_k′;以y_k′为关键帧采用四元数插值方法对步骤一姿态分析得到的人体运动的姿态数据y_t进行插值,生成新的人体运动的姿态数据y_t′。步骤三中所述模型驱动的移动最小二乘图像形变方法,指的以编辑得到的新的人体运动的姿态数据作为形变控制条件,分别采用基于线段形变的和基于控制点形变的移动最小二乘图像形变方法对输入视频的每一帧进行形变,以得到包含新的人体运动的视频,具体包括以下步骤:步骤71,将步骤一姿态分析得到的人体运动的姿态数据y_t以骨架方式绘制到图像z_t的图像平面,得到图像中的线段集b_t,r;将步骤二姿态编辑得到的人体运动的姿态数据y_t′以骨架方式绘制到图像z_t的图像平面,得到图像中的线段集b_t′_,r;其中,r=1,...,R,R为人体骨架段数目;步骤72,将线段集b_t,r作为控制线段的初始位置,将线段集b_t′_,r作为控制线段的目标位置,利用基于线段形变的移动最小二乘图像形变方法,对图像z_t进行形变,得到形变后的视频帧图像z_t′;步骤73,采用高斯背景建模方法计算形变后的视频帧图像z_t′中的人体轮廓s_t′′;利用编辑得到的人体运动的姿态数据y_t′生成对应的姿态模型,将姿态模型投影到形变后的视频帧图像z_t′的图像平面上;计算得到姿态模型投影的外轮廓u_t;步骤74,对人体轮廓s_t′′等距采样得到采样点集ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="106"/>对模型投影的外轮廓u_t等距采样得到采样点集ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="120"/>其中,q=1,...,Q,Q为采样点的数目;步骤75,将采样点集ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="92"/>作为控制点的初始位置,将采样点集ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="84"/>作为控制点的目标位置,利用基于控制点形变的移动最小二乘图像形变方法,对视频帧图像z_t′进行形变,得到包含新的人体运动的视频的每一帧图像z_t′′。有益效果:本发明公开了一种视频中的人体运动编辑方法,支持用户对视频中人体运动进行编辑以得到包含新的人体运动的视频。本发明具有以下特点:1、支持用户采用自然的草绘交互方式方便的对视频中的人体运动进行编辑,得到包含新的人体运动的视频;2,本发明中所述免疫进化层次化姿态分析方法具有良好的收敛性和全局最优性,能自动的、准确的分析视频中的人体姿态;3,本发明中所述模型驱动的移动最小二乘图像形变方法,能有效保证图像形变后人体姿态和外观的真实性,使得生成的新视频的视觉效果更加自然。本文发明在在电影后期制作、广告设计等领域有重要应用。
附图说明
下面结合附图和具体实施方式对本发明做更进一步的具体说明,本发明的上述和/或其他方面的优点将会变得更加清楚。图1为本方明主要流程图。图2为本发明免疫进化姿态优化方法流程图。图3a,图3b,图3c为针对输入视频的三针图像采用本发明中层次化姿态分析方法得到的人体姿态数据结果图。图4a为本发明姿态分析得到的人体运动的姿态数据,图4b为姿态数据编辑得到的新的人体运动的姿态数据。具体实施方式:本发明公开了一种采用手绘草图进行姿态建模与编辑以及运动生成的方案,包括以下步骤:步骤一,人体姿态分析:采用基于免疫进化的层次化姿态优化方法,计算输入视频中每一帧图像的人体姿态,得到人体运动的姿态数据;步骤二,姿态数据编辑:采用草绘交互方式编辑步骤一得到的人体运动的姿态数据,生成新的人体运动的姿态数据;步骤三,图像形变:以步骤二中新的人体运动的姿态数据作为控制条件,采用模型驱动的移动最小二乘图像形变方法对输入视频中每一帧图像进行形变,生成包含新的人体运动的视频。更具体地说,本发明公开了一种视频中的人体运动编辑方法,支持用户对视频中人体运动进行编辑以得到包含新的人体运动的视频,其实施主要涉及人体姿态分析、姿态数据编辑、图像形变三大关键技术,处理流程如图1所示。首先是人体姿态分析,本发明采用基于免疫进化的层次化姿态分析方法,通过全局姿态优化、姿态序列平滑、局部姿态优化的分层处理策略计算得到输入视频中的人体运动的姿态数据;其次是姿态数据编辑,本发明采用草绘交互方式编辑上述计算得到的人体运动的姿态数据,生成新的人体运动的姿态数据;第三是图像形变,本发明采用模型驱动的移动最小二乘图像形变方法对输入视频中每一帧图像进行形变,生成包含新的人体运动的视频。下面分别介绍各实施例部分的主要流程:1、人体姿态分析本文发明采用基于免疫进化的层次化姿态分析方法计算输入视频每一帧图像的人体姿态,具体包括全局优化、姿态序列平滑、局部姿态优化三个步骤。1.1全局姿态优化全局姿态优化属于生成式姿态分析方法,其显式定义一个人体模型,通过优化人体模型的投影和图像特征间的适应度实现人体姿态估计。本发明使用的是SCAPE模型(文献6:ANGUELOV,D.,SRINIVASAN,P.,KOLLER,D.,THRUN,S.,RODGERS,J.,ANDxa0DAVIS,J.2005.SCAPE:Shapexa0Completionxa0andxa0Animationxa0ofxa0People.ACMxa0TOG,2005,24(3):408-416.),采用轮廓和边缘特征计算个体的适应度(文献7:Leonidxa0Sigal,Alexandruxa0O.Balan,Michaelxa0J.Black,HUMANEVA:Synchronizedxa0Videoxa0andxa0Motionxa0Capturexa0Datasetxa0andxa0baselinexa0Algorithmxa0forxa0evaluationxa0ofxa0Articulatedxa0Humanxa0Motion.Intxa0Jxa0Computxa0Vis,2010,87:4–27),优化方法为免疫进化姿态优化方法(文献8:焦李成,杜海峰,刘芳等著,免疫优化:计算、学习与识别,科学出版社,2006。)。对输入视频的每一帧图像z_t,采用免疫进化姿态优化方法计算得到一个包含N个候选姿态的候选姿态集合ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="187"/>免疫进化姿态优化方法流程图如图2所示,具体包括以下步骤:步骤31,初始化:在疫苗V定义的约束范围内随机产生M个姿态个体ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="211"/>记为种群A₀;其中,ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="466"/>为一个姿态个体,m为姿态个体的序号,M为种群中姿态个体的总数目,0表示了种群的代数,y_j为姿态个体的每一维,j=1,...,J,J为姿态个体的维度;所述疫苗V定义了姿态个体ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="464"/>的每一维的取值范围,即min(y_j)<y_j<max(y_j),min(y_j)和max(y_j)分别为y_j取值的最小值和最大值;本发明实现中,姿态个体的维度J=69,种群中姿态个体的总数目M=200,min(y_j)和max(y_j)通过运动数据的统计得到。步骤32,迭代优化种群A₀,包括以下步骤:;步骤321,计算第k代种群A_k中每个姿态个体的适应度,如果当前种群A_k中包含最佳姿态个体,则停止运行并输出结果,否则继续;所述姿态个体的适应度指的是姿态个体对应的姿态模型与图像特征的距离,采用轮廓和边缘特征计算姿态个体的适应度ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="240"/>计算方法是 E ( y t m , k , z t ) = exp ( - Σ ( w s ( y t m , k , z t ) + w e ( y t m , k , z t ) ) ) , ]]>其中,ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="96"/>为第k代种群A_k中的一个姿态个体,ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="250"/>为基于轮廓的距离计算式,上标s是轮廓英文单词silhouette的缩写,ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="243"/>为基于边缘的距离计算式,上标e是边缘英文单词edge的缩写;所述最佳姿态个体指的是适应度ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="216"/>小于阈值e的姿态个体,阈值e=0.0015;步骤322,遗传算子:采用遗传算子中的高斯交叉变异算子(文献:9:Gexa0JK,Qiuxa0YH,Wuxa0CM,etxa0al.Summaryxa0ofxa0geneticxa0algorithmsxa0research.Applicationxa0Researchxa0ofxa0Computers,2008,25(010):2911-2916)对第k代种群A_k中的每个姿态个体进行交叉变异操作,得到中间种群B_k;其中ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="343"/>(y_t′)^m,k为交叉变异操作得到的姿态个体;步骤323,接种疫苗:对于中间种群B_k中的每个姿态个体都接种疫苗V,得到抗体种群C_k;其中ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="353"/>(y_t′′)^m,k为接种疫苗得V到的姿态个体;所述接种疫苗V是指对于姿态个体(y_t′)^m,k,(y_t′)^m,k∈B_k,如果ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="383"/>则ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="376"/>如果 ( y t " ) j m , k > max ( y j ) , ]]>则 ( y t " ) j m , k = max ( y j ) ; ]]>步骤324,免疫选择:对抗体种群C_k进行免疫检测和退火选择,得到临时种群D_k;所述免疫检测是指对抗体种群C_k中的每一个姿态个体(y_t′′)^m,k,如果姿态个体(y_t′′)^m,k的适应度提高,即E((y_t′′)^m,k,z_t)-E((y_t′)^m,k,z_t)>0,则将个体(y_t′′)^m,k加入临时种群D_k;所述退火选择是指对抗体种群C_k中的每一个姿态个体(y_t′′)^m,k,如果姿态个体(y_t′′)^m,k的适应度降低,即E((y_t′′)^m,k,z_t)-E((y_t′)^m,k,z_t)<0,则以概率P((y_t′′)^m,k)将姿态个体(y_t′′)^m,k加入临时种群D_k,概率 P ( ( y t " " ) m , k ) = e E ( ( y t " " ) m , k , z t ) T k / Σ i = 1 M e E ( ( y t " " ) m , k , z t ) T k ; ]]>其中,E((y_t′′)^m,k,z_t)为步骤321中的适应度函数,T_k为温控序列,T_k=ln(T₀k+1),T₀为初始温度,k为种群的代数;本发明实现中初始温度T₀=1000。步骤325,构造新种群:采用如下步骤构造新一代父本种群A_k+1:统计临时种群D_k中姿态个体的数目M′;对种群A_k和临时种群D_k中总数为M+M′的姿态个体,删除M+M′个姿态个体中相同的姿态个体;计算剩余姿态个体的适应度,选择适应度最高的前M个姿态个体构成新一代父本种群A_k+1;步骤326,当迭代次数k小于阈值C时,k=k+1,返回步骤321;否则执行步骤33;本发明实现中,阈值C=100;步骤33,输出:计算第k代种群A_k中的姿态个体的适应度,选择适应度最高的前N个姿态个体构成候选姿态集合ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="179"/>本发明实现中,候选姿态集合的规模N=20。1.2姿态序列平滑姿态序列平滑的计算过程是从候选姿态集合ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="146"/>中选择一个候选姿态ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="98"/>作为图像z_t的预估姿态,构造一个预估姿态序列H=h(1)h(2)...h(T)并建立其评价函数,继而采用动态规划方法(文献10:潘金贵,顾铁成,李成法等译,算法导论,机械工业出版社,2006,第191-212页)优化该预估姿态序列以得到最佳的预估姿态序列。姿态序列平滑利用了运动的时序信息,能提高人体姿态分析的准确性,具体包括以下步骤:步骤41,从候选姿态集合ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="152"/>中选择一个候选姿态ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="106"/>作为图像z_t的预估姿态;为输入视频构造一个预估姿态序列H=h(1)h(2)...h(T),其中,h(t)∈[1,N]表示图像z_t的预估姿态的序号;步骤42,计算图像特征约束f_h(t):计算图像z_t的候选姿态集合ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="132"/>中每个候选姿态ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="62"/>的适应度ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="232"/>则图像特征约束的计算方法为: f h ( t ) = E ( y t h ( t ) , z t ) / Σ i = 1 N E ( y t i , z t ) ; ]]>步骤43,计算时空约束O_h(t)h(t+1):计算图像z_t的预估姿态ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="86"/>和图像z_t+1的预估姿态ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="124"/>之间的时空约束 O h ( t ) h ( t + 1 ) = exp ( - Dis ( y t h ( t ) , y t + 1 h ( t + 1 ) ) / σ 2 ) ; ]]>其中,σ为核参数,ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="347"/>为姿态ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="99"/>和姿态ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="133"/>之间的距离,计算方法为: P ( ( y t " " ) m , k ) = e E ( ( y t " " ) m , k , z t ) T k / Σ i = 1 M e E ( ( y t " " ) m , k , z t ) T k ; ]]>其中y_j为姿态的每一维,j=1,...,J,w_j为每一维的权重;在本发明实现中,核参数σ=10,对不同关节点设置不同的权重w_j,其中关键关节点包括根关节、膝关节、肘关节、跨关节、头肩关节对应的维度设权重为1,其他关节设权重为0;步骤44,建立评价函数:基于图像特征约束f_h(t)和时空约束O_h(t)h(t+1),建立预估姿态序列H=h(1)h(2)...h(T)的评价函数ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="700"/>其中α为权重控制参数,取值与输入视频中的人体姿态变化速度相关,对于人体运动速度较快的视频,如跑步等取a=2,对于运动速度较慢的视频,如走路等取a=0.5,而其他大多数视频取a=1即可。在本发明实现中,取α=0.5;步骤45,姿态序列求解:采用动态规划方法求解姿态序列H,计算得到每一帧图像z_t的预估姿态ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="124"/>1.3局部姿态优化局部姿态优化基本思想是通过提高图像特征计算的精度,采用免疫进化姿态优化方法优化人体的局部姿态,其处理流程是:基于预估姿态的姿态模型投影标记视频帧图像,采用图割方法计算精确人体轮廓,利用免疫进化姿态优化方法实现局部优化,具体包括以下步骤:步骤51,轮廓重定位:利用预估姿态ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="90"/>生成对应的姿态模型,并将姿态模型投影到对应的图像z_t的图像平面;对姿态模型的投影区域进行图像的腐蚀和膨胀操作,将腐蚀操作得到的区域标记为前景,将膨胀操作得到的区域以外部分标记为背景;根据标记的前景和背景,利用图割方法计算得到图像z_t中的人体轮廓s_t′;步骤52,种群初始化:利用图像z_t的预估姿态ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="112"/>采用高斯预测方法得到M个符合正态分布的姿态个体ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="197"/>并用ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="173"/>初始化种群A₀;步骤53,局部姿态优化:利用步骤51得到的人体轮廓s_t′计算姿态个体的适应度,采用免疫进化姿态优化方法计算得到候选姿态集合ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="165"/>步骤54,姿态生成:从候选姿态集合ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="134"/>中选择适应度最高的姿态个体y_t作为图像z_t的人体运动的姿态数据。图3a,图3b,图3c为针对输入视频的三针图像采用本发明中层次化姿态分析方法得到的人体姿态数据结果图。2、姿态数据编辑本发明将草绘交互方式应用到姿态数据编辑中,提高了用户的可操作性。姿态编辑的流程是首先由指定人体运动的姿态数据的关键姿态,然后采用草绘交互方式指定关键姿态的人体目标关节点的位置,进而采用逆运动学方法求解新的人体姿态,最后对原始姿态数据进行插值得到新的人体运动的姿态数据,具体包括以下步骤:步骤61,对于步骤一姿态分析得到的人体运动的姿态数据y_t,采用草绘交互方式选定其中K个关键姿态y_k,k=1,...,K,K<T;在本发明中,关键姿态数目K一般取。步骤62,对每个关键姿态yk,采用草绘交互方式指定人体关键部位的末端关节点新位置;步骤63,采用多重优先级逆运动学方法(文献:11:Paoloxa0Baerlocher,Ronanxa0Boulic,Anxa0inversexa0kinematicxa0architecturexa0enforcingxa0anxa0arbitraryxa0numberxa0ofxa0strictxa0priorityxa0levels,Thexa0Visualxa0Computer,2004,20(6):402-417)求解得到新的人体姿态数据y_k′;步骤64,以y_k′为关键帧采用四元数插值方法对步骤一姿态分析得到的人体运动的姿态数据y_t进行插值,生成新的人体运动的姿态数据y_t′。3、图像形变图像形变的思路是以编辑得到的新的人体运动的姿态数据作为形变控制条件,依次采用基于线段形变的和基于控制点形变的移动最小二乘图像形变方法(文献12:M ̈ULLER,M.,HEIDELBERGER,B.,TESCHNER,M.,ANDxa0GROSS,M.Meshlessxa0deformationsxa0basedxa0onxa0shapexa0matching.ACMxa0TOG,2005,24(3):471–478.)对输入视频的每一帧图像进行形变,以得到包含新的人体运动的视频,具体包括以下步骤:步骤71,将步骤一姿态分析得到的人体运动的姿态数据y_t以骨架方式绘制到图像z_t的图像平面,得到图像中的线段集b_t,r;将步骤二姿态编辑得到的人体运动的姿态数据y_t′以骨架方式绘制到图像z_t的图像平面,得到图像中的线段集b_t′_,r;其中,r=1,...,R,R为人体骨架段数目;本发明实现中,人体的骨架段数目R=25。步骤72,将线段集b_t,r作为控制线段的初始位置,将线段集b_t′_,r作为控制线段的目标位置,利用基于线段形变的移动最小二乘图像形变方法,对图像z_t进行形变,得到形变后的视频帧图像z_t′;步骤73,采用高斯背景建模方法(文献13:C.Staufferxa0andxa0W.E.L.Grimson,Adaptivexa0backgroundxa0mixturexa0modelsxa0forxa0real-timexa0tracking,Proc.IEEExa0CVPR,June1999:246-252)计算形变后的视频帧图像z_t′中的人体轮廓s_t′′;利用编辑得到的人体运动的姿态数据y_t′生成对应的姿态模型,将姿态模型投影到形变后的视频帧图像z_t′的图像平面上;计算得到姿态模型投影的外轮廓u_t;步骤74,对人体轮廓s_t′′等距采样得到采样点集ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="109"/>对模型投影的外轮廓u_t等距采样得到采样点集ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="112"/>其中,q=1,...,Q,Q为采样点的数目;本发明实现中,采样点数目Q=150。步骤75,将采样点集ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="86"/>作为控制点的初始位置,将采样点集ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="86"/>作为控制点的目标位置,利用基于控制点形变的移动最小二乘图像形变方法,对视频帧图像z_t′进行形变,得到包含新的人体运动的视频的每一帧图像z_t′′。本发明提供了一种视频中的人体运动编辑方法,具体实现该技术方案的方法和途径很多,以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。